ฮอฟฟาเกิดใน บราซิล รัฐอินดีแอนา เมื่อวันที่ 14 กุมภาพันธ์ ค.ศ. 1913 ในครอบครัวชาวอินดีแอนา จอห์น และ วิโอล่า (เนย์ ริดเดิ้ล) ฮอฟฟา พ่อของเขาซึ่งเป็นเชื้อสายเยอรมัน ในตอนนี้ถูกเรียกว่าตระกูล เพนซิลเวเนียดัตช์ [1] เสียชีวิตในปี ค.ศ. 1920 จากโรคปอด เมื่อฮอฟฟาอายุเจ็ดขวบ [2] แม่ของฮอฟฟาที่เป็นชาวไอริชอเมริกันไปพาครอบครัวย้ายไปอยู่ที่ ดีทรอยต์ ในปี ค.ศ. 1924 ซึ่งเป็นที่อยู่ของฮอฟฟาใช้อาศัยตลอดชีวิต ฮอฟฟาออกจากโรงเรียนเมื่ออายุ 14 และเริ่มทำงานด้วยตนเอง เช่น งานทาสีบ้านเพื่อช่วยเหลือครอบครัวของเขา